Ask to Distill: Learning to Synthesize Data for On-Policy Distillation
Ask-to-Distill：学习为策略蒸馏合成数据
🧭 LLM蒸馏 · 合成数据优化
University of Illinois Urbana-Champaign · The Hong Kong University of Science and Technology · Texas A&M University
用教师-学生分布分歧作为无答案信号，训练合成器生成能暴露教师监督的问题，提升on-policy蒸馏效率。
📌 工作参考价值（4 点）
- 无标注数据价值评估：在电商搜索/推荐中，当用LLM生成训练样本（如query改写、商品描述、用户意图）时，可借鉴教师-学生分歧+兼容性作为样本价值代理，无需人工标注或正确答案即可筛选高价值样本。
- 低成本的迭代数据合成：冻结学生-教师对计算奖励，避免每个候选样本都更新学生模型，大幅降低合成数据筛选的计算开销，适合业务中大规模生成候选后过滤。
- 分布诱导器思路：将生成器训练为“引出教师知识”的提问者，可迁移到Agent场景——让模型学会生成能暴露教师策略优势的任务，用于自我提升或策略蒸馏。
- 长度与多样性控制：在合成训练数据时加入长度惩罚和多样性奖励，可防止模型退化到短平快样本，保证覆盖长尾场景，对推荐系统的长尾物品描述生成有参考价值。